AIで深まる音楽体験 －既存アプリにコンテンツを追加・三つのアプリを新規公開－

　理研音楽情報知能チームは、利用者の顔画像やジェスチャーをAIで認識し、楽器のパートごとに音の聴き分けを楽しめるiPhone用アプリ「サウンドスコープフォン（Sound Scope Phone）」を開発し、2021年5月に公開しました^注1）。一方、国立環境研究所 生物多様性領域/福島地域協働研究拠点は、福島県内の避難指示区域とその周辺で野鳥の声を録音し、その声から種を判別する市民参加型イベント「バードデータチャレンジ」を2015～2018年に開催しました^注2）。
　今回、バードデータチャレンジにも使用された野鳥の声データセットの一部をサウンドスコープフォンに追加し、野鳥の声の聴き分けを体験できるようになりました（図1）。また、ギタリストのDaisuke Hashimoto氏による提供曲「鋼鉄魂2022」も追加しました。これらの音声はサウンドスコープフォンアプリの更新または新規インストールによって聴くことができます。

　「サウンドスコープパット（Sound Scope Pad）」は、VRによるコンサート体験を提供します。iPadの方向に応じて、画面上に利用者を取り囲むように奏者が現れます。特定の楽器の方向へ耳を澄ませるようなポーズをすると、AIが利用者のポーズを認識してそのパートがより強調され、空間音響技術による能動的な音楽鑑賞を体験できます（図2）。

　「ミュージックスコープパッド（Music Scope Pad）」は、VR空間で目的の映像を素早く見つけられるアプリです。映像検索ワードを入力すると、対応する10の音楽映像のサンプルがiTunesから抽出され、iPadの方向に応じて利用者を囲むように提示されます。見たい映像を探し、その方向へ耳を澄ませるようなポーズをすると、AIがそれを認識し、映像が選択されます（図3）。

　「メロディスロットマシンHD（Melody Slot Machine HD）」は、スロットマシンを楽しみながらメロディを生成できるアプリです。スロットマシンで複数のバリエーションから短いメロディを選ぶと、新しいメロディが生成されます。また、新しいメロディを演奏する映像も見ることができます（図4）。

＜発表者＞　※研究内容については発表者にお問い合わせください。
理化学研究所　革新知能統合研究センター
目的志向基盤技術研究グループ　音楽情報知能チーム
　チームリーダー　　浜中　雅俊（はまなか　まさとし）

＜機関窓口＞
＊今般の新型コロナウイルス感染症対策として、理化学研究所では在宅勤務を実施しておりますので、メールにてお問い合わせ願います。

理化学研究所　広報室　報道担当
E-mail：ex-press[at]riken.jp

国立環境研究所企画部広報室
E-mail：kouhou0[at]nies.go.jp

※上記の[at]は@に置き換えてください。